package com.shujia.flink.core;

import org.apache.flink.api.common.RuntimeExecutionMode;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class Demo2WordCountBatch {
    public static void main(String[] args) throws Exception {
        //1、创建flink环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        /*
         * 设置flink处理模式
         * BATCH
         * 1、输出最终结果
         * 2、底层是MapReduce模型
         * 2、批处理模式只能用于处理有界流，不能用于处理无界流
         * STREAMING
         * 1、输出连续结果
         * 2、持续流模型
         * 3、可以用于处理有界流和无界流
         *
         * 流批统一： 同一套api既能用于流处理也能用于批处理
         */
        env.setRuntimeMode(RuntimeExecutionMode.BATCH);

        //2、读取数据  -- 有界流
        DataStream<String> linesDS = env.readTextFile("flink/data/words.txt");

        //将一行转换成多行
        //lambda表达式
        DataStream<String> wordsDS = linesDS.flatMap((line, out) -> {
            //将一行切分成一个数组
            String[] split = line.split(",");
            //循环将数据发生到下游
            for (String word : split) {
                //将数据发送到下游
                out.collect(word);
            }
        }, Types.STRING);//指定返回的类型信息


        //转换成kv格式
        //Types.TUPLE(Types.STRING, Types.INT) 指定返回的类型
        DataStream<Tuple2<String, Integer>> kvDS = wordsDS
                .map(word -> Tuple2.of(word, 1), Types.TUPLE(Types.STRING, Types.INT));

        //安装单词进行分组
        KeyedStream<Tuple2<String, Integer>, String> keyByDS = kvDS.keyBy(kv -> kv.f0);

        //统计单词的数量
        DataStream<Tuple2<String, Integer>> countDS = keyByDS.sum(1);

        //打印结果
        countDS.print();

        //启动flink
        env.execute();
    }
}
